크롤링(Crawling)과 스크래핑(Scraping)의 차이

#크롤링 #스크래핑

웹사이트를 자동으로 탐색하며 링크를 따라가면서 웹 페이지의 정보를 수집하는 과정

주로 검색 엔진이 웹사이트를 인덱싱하기 위해 사용
특정 데이터를 추출한다기 보다 사이트 전체적인 맥락 수집에 목적이 있음
웹 크롤러(Spider, Bot, Crawler) 프로그램을 사용

웹에서 특정 데이터(텍스트, 이미지, 가격, 리뷰 등)을 추출하는 과정

크롤링을 통해 얻은 웹페이지에서 필요한 정보만 가공하여 저장
웹페이지에서 특정 요소를 찾아 데이터를 추출

크롤링과 스크래핑의 주된 차이에는 타겟팅하는 데이터에 있음